Visual question answering with modules and language modeling

L’objectif principal de cette thèse est d’apprendre les représentations modulaires pour la tâche de réponse visuelle aux questions (VQA). Apprendre de telles représentations a le potentiel de généraliser au raisonnement d’ordre supérieur qui prévaut chez l’être humain. Le chapitre 1 traite de la littérature relative à VQA, aux réseaux modulaires et à l’optimisation de la structure neuronale. En particulier, les différents ensembles de données proposés pour étudier cette tâche y sont détaillés. Les modèles de VQA peuvent être classés en deux catégories en fonction des jeux de données auxquels ils conviennent. La première porte sur les questions ouvertes sur les images naturelles. Ces questions concernent principalement quelques objets/personnes présents dans l’image et n’exigent aucune capacité de raisonnement significative pour y répondre. La deuxième catégorie comprend des questions (principalement sur des images synthétiques) qui testent la capacité des modèles à effectuer un raisonnement compositionnel. Nous discutons de différentes variantes architecturales de réseaux de modules neuronaux (NMN). Finalement nous discutons des approches pour apprendre les structures ou modules de réseau neuronal pour des tâches autres que VQA. Au chapitre 2, nous décrivons un moyen d’exécuter de manière parcimonieuse un modèle CNN (ResNeXt [110]) et d’enregistrer les calculs effectués dans le processus. Ici, nous avons utilisé un mélange de formulations d’experts pour n’exécuter que les K meilleurs experts dans chaque bloc convolutionnel. Le groupe d’experts le plus important est sélectionné sur la base d’un contrôleur qui utilise un système d’attention guidé par une question suivie de couches entièrement connectées dans le but d’attribuer des poids à l’ensemble d’experts. Nos expériences montrent qu’il est possible de réaliser des économies énormes sur le nombre de FLOP avec un impact minimal sur la performance. Le chapitre 3 est un prologue du chapitre 4. Il mentionne les contributions clés et fournit une introduction au problème de recherche que nous essayons de traiter dans l’article. Le chapitre 4 contient le contenu de l’article. Ici, nous nous intéressons à l’apprentissage de la structure interne des modules pour les réseaux de modules neuronaux (NMN) [3, 37]. Nous introduisons une nouvelle forme de structure de module qui utilise des opérations arithmétiques élémentaires et la tâche consiste maintenant à connaître les poids de ces opérations pour former la structure de module. Nous plaçons le problème dans une technique d’optimisation à deux niveaux, dans laquelle le modèle prend des gradients de descente alternés dans l’architecture et des espaces de poids. Le chapitre 5 traite d’autres expériences et études d’ablation réalisées dans le contexte de l’article précédent. La plupart des travaux dans la littérature utilisent un réseau de neurones récurrent tel que LSTM [33] ou GRU [13] pour modéliser les caractéristiques de la question. Cependant, les LSTM peuvent échouer à encoder correctement les caractéristiques syntaxiques de la question qui pourraient être essentielles [87]. Récemment, [76] a montré l’utilité de la modélisation du langage pour répondre aux questions. Avec cette motivation, nous essayons d’apprendre un meilleur modèle linguistique qui peut être formé de manière non supervisée. Dans le chapitre 6, nous décrivons un réseau récursif de modélisation de langage dont la structure est alignée pour le langage naturel. Plus techniquement, nous utilisons un modèle d’analyse non supervisée (Parsing Reading Predict Network ou PPRN [86]) et augmentons son étape de prédiction avec un modèle TreeLSTM [99] qui utilise l’arborescence intermédiaire fournie par le modèle PRPN dans le but de un état caché en utilisant la structure arborescente. L’étape de prédiction du modèle PRPN utilise l’état caché, qui est une combinaison pondérée de l’état caché du TreeLSTM et de celui obtenu à partir d’une attention structurée. De cette façon, le modèle peut effectuer une analyse non supervisée et capturer les dépendances à long terme, car la structure existe maintenant explicitement dans le modèle. Nos expériences démontrent que ce modèle conduit à une amélioration de la tâche de modélisation du langage par rapport au référentiel PRPN sur le jeu de données Penn Treebank.The primary focus in this thesis is to learn modularized representations for the task of Visual Question Answering. Learning such representations holds the potential to generalize to higher order reasoning as is prevalent in human beings. Chapter 1 discusses the literature related to VQA, modular networks and neural structure optimization. In particular, it first details different datasets proposed to study this task. The models for VQA can be categorized into two categories based on the datasets they are suitable for. The first one is open-ended questions about natural images. These questions are mostly about a few objects/persons present in the image and don’t require any significant reasoning capability to answer them. The second category comprises of questions (mostly on synthetic images) which tests the ability of models to perform compositional reasoning. We discuss the different architectural variants of Neural Module Networks (NMN). Finally, we discuss approaches to learn the neural network structures or modules for tasks other than VQA. In Chapter 2, we discuss a way to sparsely execute a CNN model (ResNeXt [110]) and save computations in the process. Here, we used a mixture of experts formulation to execute only the top-K experts in each convolutional block. The most important set of experts are selected based on a gate controller which uses a question-guided attention map followed by fully-connected layers to assign weights to the set of experts. Our experiments show that it is possible to get huge savings in the FLOP count with only a minimal degradation in performance. Chapter 3 is a prologue to Chapter 4. It mentions the key contributions and provides an introduction to the research problem which we try to address in the article. Chapter 4 contains the contents of the article. Here, we are interested in learning the internal structure of the modules for Neural Module Networks (NMN) [3, 37]. We introduce a novel form of module structure which uses elementary arithmetic operations and now the task is to learn the weights of these operations to form the module structure. We cast the problem into a bi-level optimization technique in which the model takes alternating gradient descent steps in architecture and weight spaces. Chapter 5 discusses additional experiments and ablation studies that were done in the context of the previous article. Most works in the literature use a recurrent neural network like LSTM [33] or GRU [13] to model the question features. However, LSTMs can fail to properly encode syntactic features of the question which could be vital to answering some VQA questions [87]. Recently, [76] has shown the utility of language modeling for question-answering. With this motivation, we try to learn a better language model which can be trained in an unsupervised manner. In Chapter 6, we discuss a recursive network for language modeling whose structure aligns with the natural language. More technically, we make use of an unsupervised parsing model (Parsing Reading Predict Network or PPRN [86]) and augment its prediction step with a TreeLSTM [99] model which makes use of the intermediate tree structure given by PRPN model to output a hidden state by utilizing the tree structure. The predict step of PRPN model makes use of a hidden state which is a weighted combination of the TreeLSTM’s hidden state and the one obtained from structured attention. This way it helps the model to do unsupervised parsing and also capture long-term dependencies as the structure now explicitly exists in the model. Our experiments demonstrate that this model leads to improvement on language modeling task over the PRPN baseline on Penn Treebank dataset

Étude des systèmes complexes : des réseaux au connectome du cerveau

La connectomique est l’étude des cartes de connectivité du cerveau (animal ou humain), qu’on nomme connectomes. À l’aide des outils développés par la science des réseaux complexes, la connectomique tente de décrire la complexité fonctionnelle et structurelle du cerveau. L’organisation des connexions du connectome, particulièrement la hiérarchie sous-jacente, joue un rôle majeur. Jusqu’à présent, les modèles hiérarchiques utilisés en connectomique sont pauvres en propriétés émergentes et présentent des structures régulières. Or, la complexité et la richesse hiérarchique du connectome et de réseaux réels ne sont pas saisies par ces modèles. Nous introduisons un nouveau modèle de croissance de réseaux hiérarchiques basé sur l’attachement préférentiel (HPA - Hierarchical preferential attachment). La calibration du modèle sur les propriétés structurelles de réseaux hiérarchiques réels permet de reproduire plusieurs propriétés émergentes telles que la navigabilité, la fractalité et l’agrégation. Le modèle permet entre autres de contrôler la structure hiérarchique et apporte un support supplémentaire quant à l’influence de la structure sur les propriétés émergentes. Puisque le cerveau est continuellement en activité, nous nous intéressons également aux propriétés dynamiques sur des structures hiérarchiques produites par HPA. L’existence d’états dynamiques d’activité soutenue, analogues à l’état minimal de l’activité cérébrale, est étudiée en imposant une dynamique neuronale binaire. Bien que l’organisation hiérarchique favorise la présence d’un état d’activité minimal, l’activité persistante émerge du contrôle de la propagation par la structure du réseau.Connectomics is the study of the brain connectivity maps (animal or human), described as complex networks and named connectomes. The organization of the connections, including the network’s hidden hierarchy, plays a major role in our understanding of the functional and structural complexity of the brain. Until now, the hierarchical models in connectomics have exhibited few emergent properties and have proposed regular structures whereas conectomes and real networks show complex structures. We introduce a new growth model of hierarchical networks based on preferential attachment (HPA - hierarchical preferential attachment). The structure can be controlled by a small set of parameters to fit real networks. We show how functional properties emerge from the projection of the hierarchical organization. Furthermore, we use HPA to investigate the minimum level of activity of the brain. The network response under binary dynamics shows evidence of persistent activity, similar to the resting-state of the brain. Even though hierarchical organization is beneficial for sustained activity, we show that persistent activity emerges from the control of the structure over the dynamics

La résilience des réseaux complexes

Les systèmes réels subissant des perturbations par l’interaction avec leur environnement sont susceptibles d’être entraînés vers des transitions irréversibles de leur principal état d’activité. Avec la croissance de l’empreinte humaine mondiale sur les écosystèmes, la caractérisation de la résilience de ces systèmes complexes est un enjeu majeur du 21e siècle. Cette thèse s’intéresse aux systèmes complexes pour lesquels il existe un réseau d’interactions et où les composantes sont des variables dynamiques. L’étude de leur résilience exige la description de leurs états dynamiques qui peuvent avoir jusqu’à plusieurs milliers de dimensions. Cette thèse propose trois nouvelles méthodes permettant de faire des mesures de la dynamique en fonction de la structure du réseau. L’originalité de ce travail vient de la diversité des approches présentées pour traiter la résilience, en débutant avec des outils basés sur des modèles dynamiques définis et en terminant avec d’autres n’exploitant que des données récoltées. D’abord, une solution exacte à une dynamique de cascade (modèle de feu de forêt) est développée et accompagnée d’un algorithme optimisé. Comme sa portée pratique s’arrête aux petits réseaux, cette méthode signale les limitations d’une approche avec un grand nombre de dimensions. Ensuite, une méthode de réduction dimensionnelle est introduite pour établir les bifurcations dynamiques d’un système. Cette contribution renforce les fondements théoriques et élargit le domaine d’applications de méthodes existantes. Enfin, le problème de retracer l’origine structurelle d’une perturbation est traité au moyen de l’apprentissage automatique. La validité de l’outil est supportée par une analyse numérique sur des dynamiques de propagation, de populations d’espèces et de neurones. Les principaux résultats indiquent que de fines anomalies observées dans la dynamique d’un système peuvent être détectées et suffisent pour retracer la cause de la perturbation. L’analyse témoigne également du rôle que l’apprentissage automatique pourrait jouer dans l’étude de la résilience de systèmes réels.Real complex systems are often driven by external perturbations toward irreversible transitions of their dynamical state. With the rise of the human footprint on ecosystems, these perturbations will likely become more persistent so that characterizing resilience of complex systems has become a major issue of the 21st century. This thesis focuses on complex systems that exhibit networked interactions where the components present dynamical states. Studying the resilience of these networks demands depicting their dynamical portraits which may feature thousands of dimensions. In this thesis, three contrasting methods are introduced for studying the dynamical properties as a function of the network structure. Apart from the methods themselves, the originality of the thesis lies in the wide vision of resilience analysis, opening with model-based approaches and concluding with data-driven tools. We begin by developing an exact solution to binary cascades on networks (forest fire type) and follow with an optimized algorithm. Because its practical range is restricted to small networks, this method highlights the limitations of using model-based and highly dimensional tools. Wethen introduce a dimension reduction method to predict dynamical bifurcations of networked systems. This contribution builds up on theoretical foundations and expands possible applications of existing frameworks. Finally, we examine the task of extracting the structural causesof perturbations using machine learning. The validity of the developed tool is supported by an extended numerical analysis of spreading, population, and neural dynamics. The results indicate that subtle dynamical anomalies may suffice to infer the causes of perturbations. It also shows the leading role that machine learning may have to play in the future of resilience of real complex systems

Évolution de la structure des communautés via l'étude de leurs réseaux trophiques : le cas de l'archipel des Îles Galápagos

La théorie de la biogéographie des îles, initialement élaborée par MacArthur et Wilson (1963), a inspiré plusieurs recherches sur la dynamique des populations et l'assemblage des communautés insulaires. Ce qui a commencé comme une théorie plutôt simple mettant en relation les taux d'immigration, d'extinction et la distance entre les îles et le continent, pour expliquer la richesse spécifique d'une île a rapidement été reprise et extrapolée par certains pour tenter d'obtenir un modèle de macroévolution sur les îles. Toutefois, que ce soit par immigration, par spéciation ou par extinction, le changement de composition des espèces modifie toujours, avec plus ou moins d'impact, l'assemblage des communautés et la distribution des espèces sur le territoire. Lorsqu'on approche l'étude des communautés sous l'angle de leurs réseaux d'interactions, il est intéressant d'observer l'impact que le changement de composition d'espèces peut avoir sur leur structure. Dans ce contexte, mon projet de recherche vise à explorer empiriquement les variations temporelles à grande échelle dans la structure des réseaux d'interactions trophiques. Par son caractère historique riche pour l'étude de l'évolution, l'archipel des Îles Galápagos a été utilisé comme cas de figure puisqu'une documentation importante existe sur les occurrences et la diète des différentes espèces sur chacune des îles. Grâce à ces données, il nous a été possible de reconstruire les réseaux trophiques sur les îles Galápagos pour ensuite les utiliser pour tester empiriquement certaines prédictions quant au signal phylogénétique dans la diète des espèces ainsi qu'au changement de la structure des réseaux d'interactions dans le temps. Nos résultats montrent que des espèces phylogénétiquement proches possèdent aussi des interactions trophiques similaires. Toutefois, nous n'avons pas trouvé de relation entre l'âge des îles et la structure des réseaux trophiques. La variation observée dans la structure de nos réseaux ne semble pas provenir d'une sélection agissant sur la diète des espèces lors de l'assemblage des communautés. Grâce à une approche empirique rarement utilisée pour explorer des questions et hypothèses sur l'évolution des réseaux d'interactions, nous avons montré qu'il existe un signal évolutif dans la diète des vertébrés terrestres des Galápagos, et que les communautés présentes sur les différentes îles de l'archipel semblent être fonctionnellement similaires. Ce projet met donc en évidence l'intérêt d'adopter une approche par réseaux pour comprendre l'évolution des communautés

Cadre Théorique Général de l’Analyse des Chaines Globales de Valeur Appliqué à l’agroalimentaire : Concepts et enjeux

This article analyzes the epistemological evolution of the construct of Global Value Chains (GVC) that underlie a framework for studying globalization (Bair, 2008). Specifically, it highlights, through this theoretical framework, the challenges of this globality of value chains in the production processes, which now operate in several national geographic spaces and connect through networks of companies to the planetary scale. By explaining the theory of global governance of value chains developed by Gereffi, Humphrey and Sturgeon (2005), the article shows the specific types of linkages that could occur between globalized pilot companies and their influences on market access for supplier companies from developing countries. Precisely, the article examines the literature on the sectors of the agribusiness system by studying the main theoretical research models using the framework of global value chains. Against this background, the article examines the different methodological approaches resulting both from trends institutional economics, as well as from the contributions of the sociology of organizations. We conclude by accenting the implications of GVC theory for our understanding of firm strategies and the way they structure the governance of value chains, the weaknesses in the conceptual and semantic segregation used as well as some research perspectives in the agriculture and the food sectors.Cet article analyse l’évolution épistémologique du construit des chaînes globales de valeur (CGV) qui sous-tendent un cadre pour étudier la mondialisation (Bair, 2008). Plus précisément, il met en exergue, à travers ce cadre théorique, les enjeux de cette globalité des chaînes de valeurs dans les processus de production qui s’opèrent désormais sur plusieurs espaces géographiques nationaux et se connectent à travers des réseaux d’entreprises à l’échelle planétaire. En expliquant la théorie de la gouvernance mondiale de chaines de valeur développée par Gereffi, Humphrey et Sturgeon (2005), l’article montre les types spécifiques de liens qui pourraient se produire entre des entreprises pilotes globalisées et leurs influences sur l’accès au marché des entreprises fournisseurs des pays en développement. Plus particulièrement, l’article examine la littérature relative aux filières du système agroalimentaire en étudiant les principaux modèles théoriques de recherche utilisant le cadre des chaînes globales de valeur. Sur cette toile de fond, l’article examine les différentes approches méthodologiques issues aussi bien des courants de l’économie institutionnelle que des apports de la sociologie des organisations. Nous concluons en faisant ressortir les implications de la théorie des CGV pour notre compréhension des stratégies des firmes et la manière dont elles structurent la gouvernance des chaînes de valeur, les faiblesses au niveau de ségrégation conceptuelle et sémantique utilisée ainsi que quelques perspectives de recherche dans la discipline agroalimentaire

Comprendre les réseaux cérébraux

The brain is a fascinating object of study, because of the complexity of the cognitive functions it produces but also of its intrisic complexity. Indeed, the brain is made of a distributed network of neurons, considered as information processing units and gathered in circuits to produce cerebral functions. Cerebral functions and related behaviors emerge from the interaction of these ingredients and the study of the brain as a network is a central element in most domains of neuroscience that aim at finding links between structure and function, at various levels of description. Three kinds of connectivity are generally described : structural connectivity (at the anatomical level), functional connectivity (measuring statistical dependency between neuronal activations) and effective connectivity (measuring causal interactions for tasks and information flows). Considered jointly, together with considerations related to energy consumption, embodiment, ontogenesis and phylogenesis, they are an interesting way to understand how cerebral structures and functions generate mutual constraints to produce fascinating phenomena at all the scales.Le cerveau est un objet d'étude passionnant, par la complexité des fonctions cognitives qu'il génère mais aussi par sa complexité intrinsèque. En effet, le cerveau est constitué d'un réseau distribué de neurones, considérés comme des unités de traitement de l'information et assemblés en circuit pour réaliser les fonctions cérébrales. Il faut donc considérer que les fonctions cérébrales et les comportements qui y sont associés émergent de l'interaction de ces constituants et que l'étude du cerveau en tant que réseau (et donc de sa connectivité) est un élément central dans tous les domaines des neurosciences qui cherchent fondamentalement à trouver des liens entre structure et fonction, à différents niveaux de description (de la molécule à l'individu). Les faits que les neurones soient des éléments placés dans un réseau physique, qu'ils traitent de l'information et que de leur interaction résulte un comportement sont indissociables. C'est pour cette raison que l'on devra considérer trois types de connectivité cérébrale : une connectivité structurelle (anatomique), une connectivité fonctionnelle (mesurant la dépendance statistique entre des activations neuronales) et une connectivité effective (mesurant les interactions causales relatives à une tâche et à des flux d'informations). Ces trois types de connectivité (que l'on devra considérer à différentes échelles d'espace et de temps) sont bien évidemment liés et leur analyse conjointe, associée à des considerations relatives à la consummation d'énergie, l'incarnation, l'ontogénèse et la phylogénèse, permet de mieux comprendre comment structures et fonctions cérébrales se contraignent mutuellement pour offrir des phénomènes fascinants à toutes ces échelles

La structure communautaire comme paradigme d'organisation des réseaux complexes

Tableau d'honneur de la Faculté des études supérieures et postdoctorales, 2011-2012La caractérisation des propriétés universelles des systèmes complexes aide à comprendre comment leurs éléments sont distribués et connectés, pourquoi il en est ainsi et quelles en sont les conséquences. Dans les réseaux complexes, ces propriétés incluent l'organisation indépendente d'échelle, la propriété du small-world, la modularité et Y auto-similarité. Par contre, aucun mécanisme connu n'explique l'émergence de toutes ces propriétés. On développe ici un nouveau modèle d'organisation qui considère les communautés, plutôt que les éléments de base ou les liens qu'ils partagent, comme les blocs fondamentaux des systèmes complexes. On conclut que les propriétés mentionnées précédemment sont unifiées dans une structure communautaire indépendente d'échelle. Comme preuve empirique de notre attachement préférentiel structurel, nous examinons des réseaux sociaux (collaborations entre scientifiques et entre acteurs) et d'information (l'Internet) et sommes capables de reproduire leurs distributions en éléments par communauté et communautés par élément. De plus, notre modèle permet de prédire comment les structures et les éléments sont interconnectés, souvent de manière auto-similaire, en plus d'offrir de bons indices quant à l'évolution temporelle de ces systèmes. Nous utilisons la structure communautaire indépendente d'échelle comme nouveau paradigme d'organisation et étudions ces effets sur les phénomènes propagatoires sur réseaux complexes. Ici, une analyse par champs moyens est utilisée pour coupler de façon cohérente la dynamique des éléments du réseau et la dynamique des motifs récurrents dans leur topologie. Pour un modèle d'épidémie sur réseaux sociaux, cette approche procure un système d'EDOs pour l'évolution temporelle, en plus de solutions analytiques pour le seuil épidémique et la prévalence à l'équilibre. Dans le cadre de cette application, nous évaluons comment notre compréhension de la structure d'un réseau nous aide à contrôler sa dynamique. À la lumière de nos analyses, nous postulons ensuite un nouveau paradigme pour la description de Y organisation des réseaux complexes